联合学习是一种来自分散数据集的培训模型的新兴技术。在许多应用程序中，参与联合学习系统的数据所有者不仅拥有数据，还拥有一组域知识。这些知识包括人类的知识和工艺，对联邦学习任务非常有帮助。在这项工作中，我们提出了一个联合学习框架，该框架允许注入参与者的领域知识，其中关键思想是通过本地知识来完善全球模型。我们认为的方案是由真正的行业级应用激励的，我们证明了我们采用该应用的有效性。

面部草图合成已被广泛用于多媒体娱乐和执法。尽管深度神经网络最近发生了进展，但由于人脸的多样性和复杂性，准确而现实的面孔素描合成仍然是一项艰巨的任务。当前基于图像到图像翻译的面孔草图合成在小型数据集时通常会遇到过度拟合的问题。为了解决此问题，我们提出了面部绘制的端到端以内存的样式转移网络（最多）的范围，该网络（最多）可以产生具有有限数据的高保真草图。具体而言，引入了外部自我监督的动态内存模块，以捕获域对准知识。这样，我们提出的模型可以通过在特征级别上建立面部和相应草图之间的耐用关系来获得域转移能力。此外，我们为记忆模块中的特征比对设计了一种新颖的记忆细化损失（MR损失），该功能对齐可增强记忆插槽的准确性。在CUFS和CUFSF数据集上进行了广泛的实验表明，我们最网络可以实现最先进的性能，尤其是在结构相似性指数（SSIM）方面。

联合学习是一种流行的技术，用于在不共享数据的情况下培训分布式数据源上的机器学习模型。基于垂直的联合学习或基于功能的联合学习适用于不同数据源共享相同的样本ID空间但在特征空间中不同的情况。为了确保数据所有者的长期参与，客观地评估每个数据源的贡献并相应地汇总贡献至关重要。福利价值（SV）是源自合作博弈论的可怕公平贡献估值指标。然而，计算SV需要在数据源的每个子集中广泛地重新培训模型，这导致联合学习中的高通信成本。我们提出了一种基于SV的垂直联合福利价值（VerfedSv）的贡献估值度量。我们表明Verfedsv不仅满足了公平性的许多理想的属性，而且还有效地计算，并且可以适用于同步和异步垂直联合学习算法。理论分析和广泛的实验结果均验证了Verfedsv的公平性，效率和适应性。

联合学习是一种新兴的分散机器学习方案，允许多个数据所有者在确保数据隐私的同时协同工作。联邦学习的成功在很大程度上取决于数据所有者的参与。为了维持和鼓励数据业主的参与，公正地评估数据所有者提供的数据质量并相应地奖励它们是至关重要的。联邦福利价值，最近由Wang等人提出。 [联合学习，2020]是联合学习框架下的数据值的措施，其满足数据估值的许多所需属性。然而，联邦福利价值设计中潜在的不公平仍然存在因素，因为具有相同本地数据的两个数据所有者可能无法接收相同的评估。我们提出了一种新的措施，称为已联邦福利价值，以提高联邦福利价值的公平性。该设计取决于完成由数据所有者的不同子集的所有可能贡献组成的矩阵。它在温和条件下显示，该矩阵通过利用优化而利用概念和工具而大致低等级。理论分析和实证评估都验证了拟议的措施在许多情况下改善公平性。

垂直联合学习（VFL）引起了越来越多的兴趣，因为它使多个政党具有非重叠功能来增强其机器学习模型，而无需透露其私人数据和模型参数。与其他机器学习算法相似，VFL面对公平性的需求和挑战，即，对某些具有敏感属性的群体，学习的模型可能具有不公平的歧视性。为了解决这个问题，我们在这项工作中提出了一个公平的VFL框架。首先，我们系统地制定了VFL中培训公平模型的问题，其中学习任务被建模为受约束的优化问题。要以联合和保护隐私的方式解决它，我们考虑了问题的等效双重形式，并开发出异步的梯度坐标坐标升级算法，其中一些活动的数据派对在每个通信中执行多个并行的本地化更新，以有效地减少数量的数量沟通回合。服务器发送给被动方的消息是故意设计的，以使本地更新所需的信息不会侵犯数据和敏感属性的隐私。当将算法应用于一般的非Convex-Concove Min-Max问题时，我们严格研究该算法的收敛性。我们证明该算法在$ \ Mathcal {o}中找到了双目标的$ \ delta $ stationary点（\ delta^{ - 4}）$在温和条件下循环。最后，在三个基准数据集上进行的广泛实验证明了我们在培训公平模型中方法的出色性能。

Text-driven person image generation is an emerging and challenging task in cross-modality image generation. Controllable person image generation promotes a wide range of applications such as digital human interaction and virtual try-on. However, previous methods mostly employ single-modality information as the prior condition (e.g. pose-guided person image generation), or utilize the preset words for text-driven human synthesis. Introducing a sentence composed of free words with an editable semantic pose map to describe person appearance is a more user-friendly way. In this paper, we propose HumanDiffusion, a coarse-to-fine alignment diffusion framework, for text-driven person image generation. Specifically, two collaborative modules are proposed, the Stylized Memory Retrieval (SMR) module for fine-grained feature distillation in data processing and the Multi-scale Cross-modality Alignment (MCA) module for coarse-to-fine feature alignment in diffusion. These two modules guarantee the alignment quality of the text and image, from image-level to feature-level, from low-resolution to high-resolution. As a result, HumanDiffusion realizes open-vocabulary person image generation with desired semantic poses. Extensive experiments conducted on DeepFashion demonstrate the superiority of our method compared with previous approaches. Moreover, better results could be obtained for complicated person images with various details and uncommon poses.

有效的医疗图像细分旨在通过轻量级实施框架为医学图像提供准确的像素预测。然而，轻量级框架通常无法实现高性能，并且遭受了跨域任务的可概括能力。在本文中，我们提出了一种可推广的知识蒸馏方法，用于良好，有效地分割跨域医学图像。主要是，我们提出了模型特异性的对准网络（MSAN），以提供由预训练的语义自动编码器（P-SAE）正规化的域不变表示。同时，定制的一致性培训（ACT）策略旨在促进MSAN培训。在MSAN中的域不变代表矢量中，我们提出了两个可推广的知识蒸馏方案，双对比度图蒸馏（DCGD）和域不变的交叉蒸馏（DICD）。具体而言，在DCGD中，设计了两种类型的隐式对比图，以从数据分布的角度来表示耦合和耦合语义相关性。在DICD中，来自MSAN的标题交换将两个模型（即教师和学生）的域语义向量（即教师和学生）借给了跨重建功能，这可以在学生模型中实现编码器和解码器的可推广改进。此外，定制了一个名为FR \'Echet语义距离（FSD）的度量，以验证正则化域不变特征的有效性。在肝和视网膜血管分割数据集上进行的广泛实验证明了我们方法的优先级，就轻量级框架的性能和概括而言。

基于回归的方法可以通过直接以馈送方式将原始像素直接映射到模型参数来估算从单眼图像的身体，手甚至全身模型。但是，参数的微小偏差可能导致估计的网格和输入图像之间的明显未对准，尤其是在全身网格恢复的背景下。为了解决这个问题，我们建议在我们的回归网络中进行锥体网状对准反馈（PYMAF）循环，以进行良好的人类网格恢复，并将其扩展到PYMAF-X，以恢复表达全身模型。 PYMAF的核心思想是利用特征金字塔并根据网格图像对准状态明确纠正预测参数。具体而言，给定当前预测的参数，将相应地从更优质的特征中提取网格对准的证据，并将其送回以进行参数回流。为了增强一致性的看法，采用辅助密集的监督来提供网格图像对应指南，同时引入了空间对齐的注意，以使我们的网络对全球环境的认识。当扩展PYMAF以进行全身网状恢复时，PYMAF-X中提出了一种自适应整合策略来调整肘部扭转旋转，该旋转会产生自然腕部姿势，同时保持部分特定估计的良好性能。我们的方法的功效在几个基准数据集上得到了验证，以实现身体和全身网状恢复，在该数据集中，PYMAF和PYMAF-X有效地改善了网格图像的对准并实现了新的最新结果。具有代码和视频结果的项目页面可以在https://www.liuyebin.com/pymaf-x上找到。

基于深度学习的面部识别模型容易受到对抗攻击的影响。为了遏制这些攻击，大多数防御方法旨在提高对抗性扰动的识别模型的鲁棒性。但是，这些方法的概括能力非常有限。实际上，它们仍然容易受到看不见的对抗攻击。深度学习模型对于一般的扰动（例如高斯噪音）相当强大。一种直接的方法是使对抗性扰动失活，以便可以轻松地将它们作为一般扰动处理。在本文中，提出了一种称为扰动失活（PIN）的插件对抗防御方法，以使对抗防御的对抗性扰动灭活。我们发现，不同子空间中的扰动对识别模型有不同的影响。应该有一个称为免疫空间的子空间，其中扰动对识别模型的不利影响要比其他子空间更少。因此，我们的方法估计了免疫空间，并通过将它们限制在此子空间中来使对抗性扰动失活。可以将所提出的方法推广到看不见的对抗扰动，因为它不依赖于特定类型的对抗攻击方法。这种方法不仅优于几种最先进的对抗防御方法，而且还通过详尽的实验证明了卓越的概括能力。此外，提出的方法可以成功地应用于四个商业API，而无需额外的培训，这表明可以轻松地将其推广到现有的面部识别系统。源代码可从https://github.com/renmin1991/perturbation in-inactivate获得

本文介绍了我们DFGC 2022竞赛的摘要报告。深层味道正在迅速发展，现实的面部折叠变得越来越欺骗性和难以检测。相反，检测深击的方法也正在改善。 Deepfake创作者和防守者之间有两党的比赛。这项竞赛提供了一个通用平台，用于基准在DeepFake创建和检测方法中当前最新的游戏之间的游戏。这场比赛要回答的主要研究问题是彼此竞争时两个对手的现状。这是去年DFGC 2021之后的第二版，具有新的，更多样化的视频数据集，更现实的游戏设置以及更合理的评估指标。通过这项竞争，我们旨在激发研究思想，以建立对深层威胁的更好的防御能力。我们还发布了我们的参与者和我们自己的DFGC 2022数据集，以丰富研究社区的DeepFake数据资源（https://github.com/nice-x/dfgc-2022）。